FastMix: Fast Data Mixture Optimization via Gradient Descent
FastMix：梯度下降实现快速数据混合优化
🧭 训练数据配比优化 · 梯度下降 ★ 深度解读
University of Hong Kong · Tencent Hunyuan LLM · Chinese University of Hong Kong
将数据混合比例重新参数化为可微损失权重，实现单代理模型高效联合优化
📌 工作参考价值（4 点）
- 推荐模型训练中常需对不同行为（点击、加购、购买）或不同频道的数据做采样配比，FastMix 提供了一种单模型、梯度驱动的自动搜索方案，替代手动调参或耗时的网格搜索。
- 关键 trick：将采样概率重参数化为损失权重，使混合系数完全可微，可用 SGD/Adam 直接优化，仅需一个代理模型即可完成搜索，计算成本降低数百倍。
- 为避免过拟合到验证集，可借鉴其熵正则 + 训练损失辅助目标的策略，提升上线后的泛化能力；工业场景可进一步用上采样率上限替代纯正则。
- 代理模型不宜太小（如 <0.5B），建议采用与原模型同架构但参数减半的版本；若预训练与微调序列长度不匹配，可通过拼接 SFT 序列对齐长度，避免梯度失真。